home *** CD-ROM | disk | FTP | other *** search
/ Internet Magazine 2003 Spring / INTERNET101.ISO / pc / software / windows / building / robot_manager / robotmanagersetup.exe / {app} / list.qh < prev    next >
Encoding:
Text File  |  2002-11-25  |  923 b   |  20 lines
  1. <P><B>Ignore Requests Containing</B><HR></P>
  2. <P>When Robot-Manager analyzes your log file, certain assumptions are made as
  3.  to which log entries are spider requests. Using this dialog box, you can tell
  4.  Robot-Manager to skip certain entries that contain specific text. For
  5.  instance, most Web Browsers identify themselves as Mozilla in the User-Agent
  6.  field of the log file. Therefore, you don't want to pick up entries that
  7.  contain this text, otherwise users that visit your web site and look at your
  8.  robots.txt file would be considered a spider.</P>
  9. <br>
  10. <P><IMG src="idx:3"> <B>Caution</B>
  11. <br>
  12. <B>1.</B> Too many items in the list will slow down the parsing of the log file
  13.  for spider visits.
  14. <BR>
  15. <B>2.</B> Do not enter text that could be found as part of a real spider visit.
  16.  (i.e., a number or a short run of text like "bug" or "dog".)
  17. <BR>
  18. <B>3.</B> Text entered here is case sensitive!</P>
  19.  
  20.